J'essaie d'obtenir RabbitMQ avec Celery et Django sur une instance EC2 pour effectuer un traitement en arrière-plan assez basique. J'utilise rabbitmq-server 2.5.0 sur une grande instance EC2. J'ai téléchargé et installé le client de test selon les instructions ici (tout en bas de la page). Je viens de laisser le script de test aller et j'obtiens le résultat attendu: taux de recving: 2350 msg / s, latence min / moyenne / max: 588078478/588352905/588588968 microsecondes taux de recving: 1844 msg / s, latence min / moy / max: 588589350/588845737/589195341 microsecondes taux de recving: 1562 msg / s, latence min / moyenne / max: 589182735/589571192/589959071 microsecondes fréquence de réception: 2080 msg / s, latence min / moyenne / max: 589959557/590284302/590679611 microsecondes Le problème est qu'il consomme une quantité incroyable de CPU: PID USER PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND 668 lapinmq 20 0 618m 506m 2340 S 166 6.8 2: 31.53 beam.smp 1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java J'étais en train de tester une micro-instance plus tôt et cela consommait complètement toutes les ressources de l'instance. Doit on s'y attendre? Est-ce que je fais quelque chose de mal? Merci. Éditer: La vraie raison de cet article était que celerybeat semblait fonctionner correctement pendant un certain temps, puis consommer soudainement toutes les ressources du système. J'ai installé les outils de gestion rabbitmq et j'ai étudié comment les files d'attente sont créées à partir de céleri et de la suite de tests rabbitmq. Il me semble que le céleri rend orphelin ces files d'attente et qu'elles ne disparaissent pas. Voici la file d'attente générée par la suite de tests. Une file d'attente est créée et tous les messages y entrent et sortent: Celerybeat crée une nouvelle file d'attente à chaque fois qu'il exécute la tâche: Il définit le paramètre de suppression automatique sur true, mais je ne suis pas tout à fait sûr du moment où ces files d'attente seront supprimées. Ils semblent simplement accumuler et consommer lentement des ressources. est-ce que quelqu'un a une idée? Merci.
2021-01-29 08:17:29
Ok, je l'ai compris.
Voici la documentation pertinente:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Les anciens résultats ne seront pas nettoyés automatiquement, vous devez donc vous assurer de consommer les résultats, sinon le nombre de files d'attente finira par devenir incontrôlable. Si vous exécutez RabbitMQ 2.1.1 ou une version ultérieure, vous pouvez tirer parti de l'argument x-expires pour les files d'attente, qui expireront les files d'attente après un certain délai après leur utilisation. L'expiration de la file d'attente peut être définie (en secondes) par le paramètre CELERY_AMQP_TASK_RESULT_EXPIRES (non activé par défaut).
|
Pour ajouter à la solution d'Eric Conner à son propre problème, http://docs.celryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices déclare:
Ignorez les résultats que vous ne voulez pas
Si vous ne vous souciez pas des résultats d'une tâche, veillez à définir l'option ignore_result, car le stockage des résultats gaspille du temps et des ressources.
@ app.task (ignore_result = True)
def ma tâche (…):
quelque chose()
Les résultats peuvent même être désactivés globalement à l'aide du paramètre CELERY_IGNORE_RESULT.
Cela, avec la réponse d'Eric, est probablement une des meilleures pratiques minimales pour gérer vos résultats.
Si vous n'avez pas besoin d'un backend de résultats, définissez CELERY_IGNORE_RESULT ou ne définissez pas du tout de backend de résultats. Si vous avez besoin d'un backend de résultats, définissez CELERY_AMQP_TASK_RESULT_EXPIRES pour être protégé contre la création de résultats inutilisés. Si vous n'en avez pas besoin pour une application spécifique, définissez l'ignorer local comme ci-dessus.
|
Votre Réponse
StackExchange.ifUsing ("éditeur", fonction () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("extraits", function () {
StackExchange.snippets.init ();
});
});
}, "extraits de code");
StackExchange.ready (fonction () {
var channelOptions = {
tags: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// Doit lancer l'éditeur après les extraits, si les extraits sont activés
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("extraits", function () {
createEditor ();
});
}
autre {
createEditor ();
}
});
function createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: faux,
heartbeatType: 'réponse',
autoActivateHeartbeat: faux,
convertImagesToLinks: vrai,
noModals: vrai,
showLowRepImageUploadWarning: vrai,
reputationToPostImages: 10,
bindNavPrevention: vrai,
suffixe: "",
imageUploader: {
brandingHtml: "Powered by \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.72554.9762.6943 4.61182C47.4335 4.61182 46.72554.91628 46.094 4.69.4335 4.61182 46.72554.91628 46.094.49.48.4335 4.61182 46.7256 4.9762.692 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C32.492 12.6954.0 34184.01448.0 14.6954.0 34184.0 14.6954 10.1419C32.492 12.6954 10.1419C32.492 12.6954.0 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.4455.5C35.820 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ "clip-rule = \" evenodd \ "d. = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.993.509 4.66231 29.4502 4.66231C28.993.505 4.66231 29.4502 4.66231C28.993.505 4.66231 29.4502 4.66231C28.993.505 4.66231 29.4502 4.66231C28.993.505 4.66231 28.4502 4.66231C28.993.505 4.66231 28.4502 4.66231C28.993.50 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8341.832C 12.7799 28.121 12.8341.830C 12.7799 28.121 12.8341.830C 28.1161 12.7799 28.121 12.8341.830C 12.1161 12.7799 28.121 12.8341.830C 12.1161 12.7799 28.121 12.8341.8304.1256.28.1256 12.7799 28.121 12.8341.285 12.8341.285 12.7799 28.121 25.121 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335 7.0247 7.02417.6335 25.6622 17.6335 7,0177,0247,0249,2179,2177,024 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.802965 11.9512C16.80 19.6.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5.893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 14.3365 16.9157 7.58817 14.3365 16.804 16.945 6.945 6.945 6.945 6.9458.9365 16.9456.945 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.40029 \ u003 remplir c / a \ u003e ",
contentPolicyHtml: "Contributions des utilisateurs sous licence \ u003ca href =" https: //stackoverflow.com/help/licensing "\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =" https://stackoverflow.com / legal / politique de contenu \ "\ u003e (politique de contenu) \ u003c / a \ u003e",
allowUrls: vrai
},
onDemand: vrai,
discardSelector: ".discard-answer"
, immédiatementShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Merci d'avoir répondu à Stack Overflow!
Veuillez vous assurer de répondre à la question. Fournissez des détails et partagez vos recherches!
Mais évitez…
Demander de l'aide, des éclaircissements ou répondre à d'autres réponses.
Faire des déclarations basées sur des opinions; Soutenez-les avec des références ou une expérience personnelle.
Pour en savoir plus, consultez nos conseils sur la rédaction de bonnes réponses.
Brouillon enregistré
Brouillon rejeté
Inscrivez-vous ou connectez-vous
StackExchange.ready (fonction () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Inscrivez-vous avec Google
Inscrivez-vous via Facebook
Inscrivez-vous par e-mail et mot de passe
Soumettre
Publier en tant qu'invité
Nom
Email
Obligatoire, mais jamais affiché
StackExchange.ready (
fonction () {
" question_page ');
}
);
Publier en tant qu'invité
Nom
Email
Obligatoire, mais jamais affiché
Publiez votre réponse
Jeter
En cliquant sur «Publier votre réponse», vous acceptez nos conditions d'utilisation, notre politique de confidentialité et notre politique de cookies
Ce n'est pas la réponse que vous recherchez? Parcourez les autres questions étiquetées django rabbitmq céleri ou posez votre propre question.